K.Y Mustafa memulakan Kerjaya sebagai penjawat awam dengan menjawat jawatan sebagai Pegawai Eksekutif di Bahagian Perkhidmatan Pejabat Penubuhan, Jabatan Ketua Menteri Sabah bermula dari tahun 1974 hingga 1982. Setelah 8 tahun berkhidmat sebagai Pegawai Eksekutif di Bahagian Perkhidmatan Pejabat Penubuhan, Jabatan Ketua Menteri Sabah, Beliau kemudianya dilantik sebagai Ketua Penolong Pengarah, Jabatan Perkhidmatan Awam Sabah bermula pada 1 Jun 1982 hingga 1984. Dimana beliau telah berkhidmat bagi jawatan berikut selama 2 tahun.

Seterusnya, Pada tahun 1984 hingga 1986 beliau telah dipinjamkan ke Sabah Gas Sdn Bhd sebagai Pengurus Kakitangan dan dilantik sebagai Pengurus Kanan (Pentadbiran) Sabah Gas Sdn Bhd dari tahun 1986 hingga 1991.

Pada tahun 1991, K.Y Mustafa kembali ke Perkhidmatan Awam Negeri Sabah dan berkhidmat di beberapa jabatan Kerajaan Negeri Sabah. Dimana pada tahun 1995 hingga 1996 , K.Y Mustafa telah dilantik sebagai Pengarah Bahagian Kabinet Dan Dasar Jabatan Ketua Menteri Sabah[2]. Beliau juga pernah menjawat Jawatan sebagai Setiausaha Tetap Kementerian Kerja Raya Sabah bermula dari tahun 1996 hinnga 1997. Kemudian beliau diberi tanggunjawap untuk menjawat Jawatan sebagai Pengarah Unit Sains Dan Teknologi Jabatan Ketua Menteri Sabah bermula dari tahun 1997 hingga 1999.

K.Y Mustapa merupakan Pengarah Jabatan Perkhidmatan Awam Sabah yang paling singkat Tempoh berkhidmat dalam sejarah Negeri Sabah bermula dari Mac 2000 - April 2000[3].Berikutan , beliau telah diberi tanggunjawap dan amanat untuk mengalas jawatan sebagai Ketua Setiausaha Kerajaan Negeri Sabah bermula dari tahun 2000 hingga 2007[4][5].

Pada Tahun 2020, K.Y Mustafa telah dilantik sebagai Pengerusi Suruhanjaya Perkhidmatan Awam Sabah[6][7].